查看原文
其他

Nature子刊:新研究表明仅62%的心理学研究是可成功重现的

生物谷 转化医学 2019-07-03

在一项新的重复在Nature期刊和Science期刊上发表的21篇心理学论文的大型研究中,来自中国、美国、瑞典、奥地利、新加坡、新西兰、德国和荷兰的研究人员报道他们在62%的时间里得出与原始论文相同的结论。即便重复实验与原始论文中的实验取得相一致的结果,效应大小也会变小。他们认为假阳性和“膨胀效应大小(inflated effect size)”是这个领域的重复性问题的一部分。相关研究结果于2018年8月27日在线发表在Nature Human Behavior期刊上,论文标题为“Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015”。

图片来自Nature Human Behaviour, doi:10.1038/s41562-018-0399-z。

论文共同作者、瑞典斯德哥尔摩经济学院经济学教授Anna Dreber表示,“假阳性结果能够让初始的研究人员和其他的研究人员花费大量时间、精力和金钱用于实际上并不成立的结果上。这会浪费资源和导致效率低下,因此越早发现结果不成立,就会越好。”

除了这项最新研究中开展的重复尝试之外,Dreber和她的同事们还测试了一种预测哪些研究结果确实是可重复的方法。他们要求大约200人(其中没有一个人参与这些实验)在类似股票市场的情景中对哪些结果会成功进行下注。值得注意的是,这些参与者对这些用于重复初始研究结果的研究进行了预测。

作为来自荷兰马斯特里赫特大学的一名参与者,Paul Smeets表示,“我对这些结果是否真地有意义进行了取样测试。有些结果看起来很壮观,但似乎也太好了而不可能是真的,这通常意味着它们就是如此。”

这21篇原始论文在2010年至2015年期间发表,是从著名的Nature期刊和Science期刊中挑选出来的。这些论文的原始作者都收到了他们的研究结果的重复情况,并被要求提供反馈。作为这些原始作者中的一员,美国肯塔基大学心理学教授Will Gervais在2012年的一项研究中研究了参与者在观察罗丹的著名雕塑《思想者》之前和之后的宗教虔诚。正如这种预测方法所预期的那样,该研究并未得到重复。Gervais表示,“事后回想,我们的那项研究是非常愚蠢的。”

美国加州大学戴维斯分校心理学家Simine Vazire(未参与这项新的研究)表示,“我们不应当将Science期刊或Nature期刊上发表的论文视为一项特别强有力的发现或一名特别有能力的研究人员的标志。”这两种期刊“并不是特别擅长挑选出真正强有力的发现或优秀的研究实践。”这些期刊“并不是特别擅长选择真正有力的发现或优秀的研究实践。这种预测方法增加了我的挫折感,这是因为它表明存在着呈现这些论文本身的证据是否有说服力的线索。”




参考资料:

Colin F. Camerer, Anna Dreber, Felix Holzmeister et al. Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, Published Online: 27 August 2018, doi:10.1038/s41562-018-0399-z.




转化医学:生物谷旗下转化医学专业平台

长按识别二维码,轻松关注



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存